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У статті запропоновано алгоритм перетворення кадрів безперервного потоку відео для 
прискорення та оптимізації пошуку переміщення об'єкта в режимі реального часу. Сучасні широко 
розповсюджені системи відеонагляду виконують задачу пошуку руху у відеопотоці, але вони не 
завжди стійкі до неякісних вхідних даних і сповільнюються у разі обробки великих об'ємів даних за 
короткі проміжки часу. Запропонований у статті алгоритм розбиває процес пошуку переміщення 
об'єкта на етапи, на кожному з яких виконується перетворення кадрів відеопотоку, що покращує 
процес пошуку першого зрушення об'єкта та подальшого відслідковування його переміщення. 
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Вступ 
Аналіз зображень відеопотоку в найзагальнішому вигляді являє собою 
порівняння ряду послідовних (у часі) цифрових зображень сцени спостереження з 
метою реєстрації різного роду змін (найчастіше - переміщення об'єктів). Вирішення 
такого завдання широко розповсюджене в системах безпеки та відеонагляду. 
Постановка проблеми 
Процес пошуку переміщення об'єкта у відеопотоці має три основні проблеми: 
1. Дані надаються та мають бути аналізовані в режимі реального часу. 
Алгоритми аналізу мають бути стійкими до неякісних вхідних даних (погане 
освітлення, перенасичений кольорами фон тощо). 
3. Необхідно аналізувати великі об'єми даних. 
Огляд існуючих рішень 
Окрім існуючих рішень у вигляді різних систем відеонагляду, новітні 
дослідження представлені Інститутом інженерів з електротехніки та електроніки | 1, 6. 
Зокрема, у 2014 році на Міжнародній конференції з робототехніки та 
біоміметики (ІЕЕЕ ІШіегпайопа! Сопіегепсе оп Кобоїс5 апа Віотіпейся) група 
учасників презентувала власний алгоритм перетворень зображень для знаходження 
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положення об'єкта в кадрі |1). У даній роботі було запропоновано новий підхід до 
точної сегментації об'єкта на основі комбінації регіональної сегментації та оціночної 
орієнтації, яка обчислюється глобальним альбедо-контрастом проектованих 1 
захоплених зображень. У процесі дані розподілені на фоновий та об'єктний блоки 
(регіони), які окремо оброблюються і результати цих перетворень об'єднуються в 
загальний результат виділення шуканого об'єкта. 

У результаті запропонований авторами алгоритм працював швидко і був 
стійким до вхідних даних різної якості, але не був пристосований для роботи в 
реальному часі, так як кожна ітерація пошуку вимагала повного циклу перетворень 
обох вхідних зображень. 

Запропонований алгоритм 

Існуючі рішення слабо адаптовані для вирішення трьох визначених проблем 
одночасно, тому в даній статті пропонується покращений алгоритм перетворення 
відеопотоку. Далі наведено покроковий опис алгоритму, який покращує показники 
процесу пошуку рухомих об'єктів у відеопоптоці. 

У реальному часі задача пошуку переміщення об'єкта має дві послідовні 
складові: захоплення руху та відслідковування рухомого об'єкта. Перша частина 
вимагає точності, а друга - швидкості роботи. Тому доцільно розділити алгоритм 
перетворень на два окремих кроки, що вирішують проблему роботи в режимі 
реального часу. 

Перший етап (визначення першого моменту зміщення об'єкта) виконується 
через певні фіксовані проміжки часу. При цьому вимоги до розміру проміжків 
досить лояльні, адже в реальних умовах немає критичної різниці у виявленні 
зрушення об'єкта на 5-ій чи 15-ій секунді. Головне - уникнути помилкового 
виявлення. Отже, на цьому етапі має вирішуватись проблема стійкості до неякісних 
вхідних даних. 

З математичної точки зору будь-яке зображення можна представити у вигляді 
трьох незалежних величин (Х, у, І), де пара цілочисельних значень (х, у) описує 
геометричне положення даного пікселя в площині зображення, а величина І 
характеризує його яскравість або інтенсивність в даній точці площини. Для випадку 
кольорових зображень величина | має три складові. Наприклад, для 
найрозповсюдженішої колірної моделі КСВ (Кей, Стееп, Віше) це буде значення 
червоної, зеленої та синьої складової кожного пікселя. При цьому, складність аналізу 
кожного зображення прямо пропорційна його розміру, а час залежить також від 
кількості кольорів для порівняння. Так, якщо в напівтоновому (в сірих відтінках) 
зображенні піксель може мати 256 відтінків яскравості, то в разі кольорового 
зображення піксель може мати один з 256 відтінків яскравості кожного з трьох 
кольорів, що робить кількість можливих кольорів рівним 2563 - 16 777 216. Логічно 
було б припустити, що для аналізу більш доцільно відкинути кольори або працювати 
лише з конкретною колірною складовою, але експерименти доводять, що чорно-білі 
кадри не обов'язково будуть давати найкращий результат. 

У наступній таблиці (Таблиця 1) показано відсотки помилкових виявлень руху 
та рухомих об'єктів для різних за розмірами та якістю вхідних даних |2). З таблиці 
видно, що в середньому найкращі результати показує аналіз мультфільмів, головна 
відома особливість яких -- невелика кількість кольорів (особливо їх відтінків у межах 
одного об'єкта) та чіткі межі об'єктів. Обробка чорно-білого відео також дає 
непогані результати, але вони поступаються мальованим зображенням. 
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Таблиця 1. Помилкові виявлення 


Метод (1) (2) (3) (4) (7) 
Мультфільми 1095 1095 3195 1895 09 
Кольорове відео 3395 1195 3395 3395 2795 
Чорно-біле відео 2396 - 2590 - 1296 


Методи оцінювання стійкості до неякісних вхідних даних: 
Палітра розбивається по інтенсивності. 
Палітра розбивається на КСВ-паралелепіпеди. 
Квадродерева і палітра розбивається по інтенсивності. 
Квадродерева і палітра розбивається на КСВ-паралелепіпеди. 
Палітра розбивається по інтенсивності, застосовується ускладнена формула 
відстані і вирівнювання гістограм. 

Отже, перед тим як переходити до порівняння двох кадрів, необхідно поділити 
зображення на логічні ділянки та зменшити таким чином вагу впливу неякісних 
даних у кожній ділянці. Для цього використовують кольорову сегментацію, тобто 
виокремлення частини зображення з конкретним кольором. Оскільки реальні об'єкти 
найчастіше представлені у вигляді не конкретного кольору, а групи близько 
розташованих кольорів (відтінків), то модель КСВ з чітким розподіленням кольорів 
для цієї задачі не підходить. Алгоритми сегментації найбільш пристосовані для 
роботи з Н5У (Ние, Зашгацоп, Уаїше - колірний тон, насиченість, міра яскравості) -- 
модель, що забезпечує можливість явного задання необхідного відтінку. Перехід з 
простору КСВ у простір Н5У дозволяє уникнути помилки в колірній сегментації, 
тобто «втрати» меж об'єкта у випадку неякісних вхідних даних, наприклад, коли 
зображення «засвічене» або навпаки затемнене. 

У процесі досліджень була проаналізована велика кількість алгоритмів 
сегментації, при цьому основним критерієм була можливість їх застосування в 
режимі реального часу для безперервного потоку кадрів. Далі представлені короткий 
опис найбільш оптимальних методів та результати їх оцінювання для вирішення 
заявленої задачі. 

Текстурний метод базується на аналізі чотирьох параметрів: середнього 
значення, дисперсії, орієнтації та масштабу. Відносна фіксованість цих значень у 
часі спрощує ітераційний аналіз зображень, але якщо текстура змінює свої 
характеристики залежно від масштабу, текстурні ознаки, інваріантні щодо масштабу, 
можуть не існувати взагалі. Тоді використання текстур для опису об'єктів на різних 
відстанях стає складним і затратним завданням. 

На відміну від текстурного аналізу, метод Отса використовує лише гістограму 
розподілу значень яскравості пікселів растрового зображення. За умови 
використання Н5У моделі, цей метод дає найшвидший результат для сильного 
спрощення кольорів при сегментації. 

Метод К-середніх є методом кластерного аналізу, який у процесі прагне 
мінімізувати сумарне квадратичне відхилення точок кластерів від центрів цих 
кластерів. Головний недолік методу - велика його залежність від заздалегідь 
визначених кластерів (їх розмірів, розміщення та кількості). У випадку зображень, 
які перенасичені об'єктами, цей метод досить часто надає помилковий результат. 
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З основною проблемою методу  К-середніх з успішно справляється 
вдосконалений метод нечіткої с-середньої кластеризації. Замість однозначної 
відповіді на питання, до якого кластера відноситься об'єкт, він визначає ймовірність 
того, що об'єкт належить до того чи іншого кластера. Це покращує результат 
обробки, але, з іншого боку, потребує більших затрат пам'яті, а іноді також 
додаткової подальшої обробки. 

У Таблиці 2 наведено середні значення часу виконання (у мілісекундах) кожного 
описаного методу (для методів кластеризації -- кластери задаються розбиттям зображення 
на рівну кількість частин) для різних за якістю та розмірами вхідних кадрів |З). 


Таблиця 2. Час виконання сегментації зображень 


Великі вимоги до Низькі вимоги до Перенасичене 
точності (велика точності об'єктами та 
Метод кількість відтінків | (незначна кількість кольорами 
у результаті) відтінків у зображення 
результаті) 
Текстурний аналіз 0.55031 ме 0.106386 мс 4.16039 ме 
Отса 0.58775 ме 0.0564 ме 3.397603 мс 
К-середніх 0.578384 ме 0.14781 мес 3.62995 мс 
с-середніх (з 0.62491 ме 0.06806 мс 4.12004 ме 
урахуванням пост- 
обробки) 


З даних таблиці видно, що, в середньому, найкращий результат отримано в разі 
використання методу Отса та К-середніх. Враховуючи, що перетворення має бути 
стабільним до неякісних вхідних даних, пропонується використання методу Отса як 
методу з найкращим співвідношенням швидкість-якість. Таким чином вирішується 
проблема стійкості до неякісних вхідних даних. 

Після сегментації вже виділені локальні ділянки за загальною колірною 
ознакою, а отже колір більше значення не має і можливий перехід до палітри 
відтінків сірого, тобто до монохромного зображення. При цьому кольорова модель 
значення не має, а найоптимальніший метод перетворення представлений у формулі 
(1), де 1, ) - це координати пікселя, Стау - отримане значення відтінка сірого, В, С та 
В - червона, зелена та синя складові кольору кожного пікселя відповідно. 


бгау 2 03 є В,, - 0,59 С. - ОЛ1є8,, (1) 


Фіксування першої розбіжності (першого моменту руху) зазвичай відбувається 
на даному кроці, коли зображення спрощені, але все ще надають повну інформацію 
про об'єкти. Для оптимізації процесу найчастіше використовують блокові алгоритми 
пошуку, тобто попереднє розбиття зображень на частини для подальшого пошуку 
руху в кожному окремому блоці. Таке рішення дозволить реалізувати обробку 
паралельно, що добре підходить для великої кількості даних, які необхідно 
аналізувати в режимі реального часу. 
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У роботі |4| було проаналізовано різні підходи до пошуку рухомих об'єктів. 
Основним критерієм досліджень була точність результату, чого вимагає перший 
крок запропонованого алгоритму. 

Статистичний підхід має переваги в простоті реалізації та в низьких 
обчислювальних витратах, але методи його реалізації мають низьку якість у разі зміни 
геометричних форм об'єктів і мають слабку стійкість до поганих вхідних даних, що 
може бути критичним дефектом саме у застосуванні до кадрів відеопотоку. 

Параметричний підхід більш гнучкий для реальних умов зйомок, в тому числі 
до шумів на зображеннях та у випадку перенасиченого об'єктами та кольорами 
фону, але він потребує значних обчислювальних ресурсів. 

Так як на даному етапі вимоги до точності переважають над іншими вимогами, 
запропоновано використання одного з найбільш стійких параметричних методів - 
методу відслідковування за точковими особливостями (Ееаїиге ТгасКіпе). Він стійкий 
до поганих вхідних даних і має низьку Ймовірність помилкового детектування. 
Алгоритм, що полягає у пошуку зміщення Ах точки х у межах й» (де І 
безпосередньо зображення, а 8 - складова часу), представлено у формулах (2) - (5). 


Е-У у ТОх 4 Ах, б) --1(х НАФ)? (2) 
Іх- Ах) Я І(х)- Ах (3) 


а й 2 2 
о Ева (ПО б) НА) єна) (4) 


дх У бло (ТО), (Об) о Посе нАгу) бо ОРОС 


Таким чином завершується перший етап - етап пошуку зрушення об'єкта. На 
другому етапі відбуватиметься відслідковування руху вже знайденого об'єкта, отже 
змінюються вимоги до алгоритмів - тепер необхідне швидке опрацювання великих 
об'ємів даних для вирішення останньої вказаної проблеми. 

Після першого знаходження рухомого об'єкта немає сенсу знову перебирати 
все зображення, так як зазвичай більша його частина не має інформаційної цінності 
для аналізу. Тоді для пришвидшення обчислень можливо перетворити монохромне 
зображення на однобітове бінарне. Це - ще більш спрощена модель, у якій значення 
«кольору» може бути лише 1 або 0, при цьому 0 прийнято вважати фоном (у даному 
випадку - нерухомою частиною зображення, яка ігнорується), а 1 - це власне об'єкт 
для відслідковування. 

Процес бінарізації базується на принципі порогових значень, тобто розбиття 
зображення на дві області, одна з яких містить всі пікселі зі значенням нижчим 
деякого порогу, а інша містить усі пікселі зі значенням вищим цього порогу. 
Враховуючи те, що рухомий об'єкт вже знайдено, бінарізацію запропоновано 
здійснювати не за принципом розділення по конкретному кольору, а з виділенням 
об'єкта та фону, які можуть складатись з кількох (навіть частково схожих) кольорів 
(формула (6)). Пороги бінарізації будуть визначатися на основі дельти зображень (де 
дельта - рухомий об'єкт або його частина). Тобто, пропонується проводити 
бінарізацію в декілька етапів, для кожного кольору, по якому було визначено 
приналежність частини зображення до рухомого об'єкта. 


0, (т,п) 2 а; 
Г (тп) - 11,5, Є (туп) «1; (6), 
0, (т,п) з; 
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де Нт,п) - кожен піксель зображення, а її, і» - крайові значення для 
конкретного кольору (відтінку сірого) визначеного рухомого об'єкта. 

Так як після вищеописаних перетворень вже є чітке розділення об'єкта та 
фону, для подальшого відслідковування руху можна використати статистичний 
підхід, зокрема метод просторової фільтрації (5). Принцип просторових алгоритмів 
полягає в застосуванні спеціальних операторів до кожної точки вихідного 
зображення. Операторами виступають прямокутні або квадратні матриці, так звані 
маски. Найчастіше маска являє собою невеликий двовимірний масив, а методи 
оптимізації, що базуються на такому підході, часто називають обробкою по масці 
або фільтрацією по масці. У застосуванні цього методу для пошуку руху маскою 
вважають перший кадр на вході, який порівнюється з наступним кадром. Результат 
порівняння знаходять за формулою (7). 


в -и(-1,-1)/х - 1,у - 1) -м(-1,0)/(х- 1, у) ог -м(0,0)Д(х у) кН 
м(1,0)Г(х 5 1, у) -м'(41)Д(х4 1, у З 1) (7), 


де М(Х,у) - маска, ї(х,у) - зображення, х та у - координати точок. 

На рисунку І зображено вхідне зображення для другого етапу (монохромне та 
розбите на блоки) та результат подальшого відслідковування руху на наступній серії 
кадрів (вже бінарних). Білим кольором відмічено рухомі ділянки, а чорно-білі 
клітинки - нерухомий фон. 


Рис. 1. Результат пошуку руху на бінарізованих зображеннях 


Таким чином швидко відбуваються ітерації другого етапу, коли 
відслідковується вже знайдений рухомий об'єкт і на вхід подається велика кількість 
зображень через малі проміжки часу. 

Висновки 

Запропонований алгоритм ділиться на два логічних етапи. На першому етапі 
виконуються сегментація та монохромізація, що дає змогу точно знайти зрушений з 
місця об'єкт в режимі реального часу при неякісних вхідних даних. На другому етапі 
відбувається бінарізація зображення, в результаті якої рухомий об'єкт логічно 
відділяється від фону і відслідковування його руху відбувається швидко навіть для 
великого об'єма вхідної інформації. 

Запропонований алгоритм вирішує зазначені проблеми для задачі пошуку рухомого 
об'єкта у відеопотоці. Його включено до розробок охоронних систем, які проектуються. 
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О.І. Сейтапеїз, О.О. Сарагіп 

Дірогіїнт ої уїдео 5їгеат (гап5Їогтабіоп Їог ассеіегайбоп апа оріїтітайоп ої 
5еагсі ої обіесі ігап5тіязіоп 

Тре ргорозеа аїсогійрт ГИНИЗ Фе а5К ої Ппатпе а тоуїпє обіесі іп а умідео 8ітеат 
їп а 5іер-Бу-5іер 50Їийоп Їог 50Іміпе, ШФгее піаїп ргобіет: геаї-йте орегацоп, ге5і5:апсе 
іо роог-диайсу іприк Чака апа ргосезбіпє Іагєе уоЇите5 ої даїа. 

Апаїугед ехізйпе 50Ї1ийоп5 Їог Ппдїпе бе дїйегепсе Беїмуееп уїдео Їгатез м/огк 
Га5і. апа аге гезі5гапі (0 іпсотіпє Мага ої дФіНегепі диайу, бик аге пог аЧаріеа Гог геа|-йте 
орегайоп, 5іпсе еасі Шегайоп ої Ше 5еагсП гедиігез а сотріеге сусіе ої (гап5Їогтайопя ої 
Боф іпри! ітагез. 

І Фе Нг5і 8іаєе, зестепіайоп апа попосіготігайоп аге регіогтеай, мпісп аПом/5 
ргесієеіу (о Іосаїе Ше обіесі 5рінед їгот Ше 51(е їп геа! ште мій Іоху-длайсу їприї Чака. 
Атопя Ше ехізипе зебтепіайоп аїдогійте5, Фе Безі гезиі! 15 обіаїпед Бу ицзіпе Ше Огхи'я 
апа К-тедфит теіоайз. ТБе (гап5їогтайоп плиц5і Бе зкабіе го роог-диайу іприї5, 50 її 15 
ргороведй (о цп5е Ше Оїзи'5 тефод а5 Фе тефодй ул Ше Без! гаїе-диайсу гацйо. ТПі5 мау 
Фе ргобіет ої ге5і5іапсе іо Іом/-диайку іприс Чака 15 50Їуед. Айег 5еєтепіайоп апа 
топосбготігайоп Ше 5еагсп Гог Ше Пг5а 5пІЙ ої Ше обіесі 15 ргоровей. З5іпсе аї із 5іаре 
Фе ассигасу гедиігетепіз ргеуаї! омег оїрбег гедиігетепіз, опе ої (фе позі 5іабіе 
рагатекгіс пефодя - Ше Беаїше Тгаскіпє теїрпой 15 5иєдекіса. І 18 ге5і5капі (о роог 
іпри! Чака апа баз а Іому ргорабішу ої Гаїзе деїеспоп. 

Ді Фе 5есопа 5(аєег, Ше Біпагуігайоп ої (Ше ітпаєе оссиг5. 5іпсе айег Ше абоуе- 
дезсгібед ігап5їогтайопзя Феге 15 аїгеаду а сісаг 5ерагайоп ої Фе обіесі апа Ше баскегошпа, 
а 5ацй5йса! арргоасп сап Бе ц5ед іо Гигірег ігаск Ше піоуетепі, іп рагісціаг Фе зрапаї 
Нгайоп теШоа. Аз а гевиії, Ше піоміпе обіесі ІорісаПу зерагаїе5 Їгопі Ше Баскотоцла апа 
асКіпе 15 плоуетепі оссиг5 дцісКІу еуеп Їог а Іагее атлошпі ої іприй іпіогллайоп. 

Тре ргороз5ед аїєогійрпі 50Їме5 Шезе ргобіетя Їог (пе (а5к ої Нпдїпє а поуїпе, 
обуесі їп а уїдео 5ігеаг апа 15 іпсіцавеа їп Фе деусіортепі ої 5есигісу 5у5(етп5 Ша млі! Бе 
ргодесіва їп Фе Гишге. 
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